Tom sinh ra tại Westminster, London. Anh là con trai của bà Diana Patricia (Servaes) Hiddleston (một người từng làm giám đốc sân khấu và làm quản lý nghệ thuật) và ông James Norman Hiddleston. Cha anh nguyên quán tại Greenock, Scotland và mẹ anh đến từ Suffolk, England. Em gái Emma của anh cũng là nữ diễn viên trong khi chị gái Sarah là phóng viên tại Ấn Độ. Theo dòng dõi bên ngoại, anh là cháu của tướng soái Reginald Servaes, là chắt của nhà sản xuất thực phẩm Sir Edmund Vestey, và họ hàng với nữ nghệ sĩ Dagny Servaes. Anh lớn lên ở Wimbledon và sau đó sống ở Oxford. Tom học tiểu học tại Dragon School ở Oxford, và năm mười ba tuổi anh theo học tại Eton College. Trong thời gian này, ba mẹ anh li dị. Tom tiếp tục theo học tại University of Cambridge ngành Cổ điển học, sau đó anh học và tốt nghiệp Học viện Nghệ thuật Hoàng gia (Royal Academy of Dramatic Ar t) năm 2005.